Data-Efficient Adaptation of LLMs via Attention Head Reweighting
通过注意力头重加权实现数据高效的LLM适配
🧭 注意力头重加权小样本适配
UC San Diego · Microsoft Research · Microsoft Security AI
提出注意力头重加权(AHR)，每个头学一个标量权重，参数减少200-1000倍，小样本分类超越LoRA
📌 工作参考价值（4 点）
- 小样本意图分类冷启动：AHR用极少量样本（如10-shot）即可适应新类别，适合电商搜索中的新型query意图识别、商品类目打标或安全审核任务，无需大量标注。
- 极低资源部署：可训练参数仅为头数×层数（Llama-3-8B约1000个），内存和计算开销远低于LoRA，适合在端侧或频繁更新场景下快速切换任务。
- 可解释性辅助特征工程：学习到的头权重直接指示哪些注意力头对任务关键，可逆向分析模型已有的语义模式，为特征设计、模型裁剪提供依据，如发现某些头专门处理价格数字、品牌词等。
- 抗过拟合的推荐文案过滤：在安全风控、垃圾评论检测等训练数据极不平衡的场景，AHR通过强行约束参数空间有效抑制过拟合，提高召回率。